package com.tedu.moive;

import us.codecraft.webmagic.Spider;

/**
 * 程序的入口
 * 本程序使用WebMagic爬虫框架 获取  电影天堂  网站数据
 *
 */
public class MAIN {

    //  程序入口   要自动生成。。
    public static void main(String[] args) {
        System.out.println("我是一只快乐爬虫");
        //开始爬虫内容
//        Spider 来启动  爬虫
        Spider spider = Spider.create(new PageProcessorIMPL());
        //对爬虫组件  spider进行设置  参数
        spider.addUrl("https://www.dytt8.net/index.htm");
        //设置线程数据
        spider.thread(5);
        //开始爬取数据
        spider.run();

    }

}
